yzqzss|一座桥在水上's Note

阿里 AI 小爬虫用请求击落 MediaWiki 站点。

时不时就有 AI bot 来爬我托管的 osm.bio (cpu 高于 10% 的都是 AI bot 加快爬取速度造成的)
爬内容页就算了吧，这些 bot 像是 zz 一样，怼着一些奇奇怪怪的非内容页爬，唯一的作用就是拿到一堆没用的页面，然后锻炼我的 CPU。🤪🤪

最近 7 天，AI bot 确实越来越猖獗了。
真的大量(80~99%)来自 Alibaba 的 ip。

附赠节能 ip 桌子：https://www.enjen.net/asn-blocklist/index.php?asn=45102&type=iptables

212 viewsyzqzss |一座桥在水上, edited 07:31

阿里 AI 小爬虫用请求击落 MediaWiki 站点。时不时就有 AI bot 来爬我托管的 osm.bio (cpu 高于 10% 的都是 AI bot 加快爬取速度造成的) 爬内容页就算了吧，这些 bot 像是 zz 一样，怼着一些奇奇怪怪的非内容页爬，唯一的作用就是拿到一堆没用的页面，然后锻炼我的 CPU。🤪🤪 最近 7 天，AI bot 确实越来越猖獗了。真的大量(80~99%)来自 Alibaba 的 ip。附赠节能 ip 桌子：https://www.enjen.net/asn-…

正常用户很少去点那些不常用的查询功能。
但是这些 AI bot 爬虫可一点都不 AI，得劲地点一切能点的东西，倒查页面历史到 1970。
平均每 request 造成的 load 比人类高许多。
我之前懒得管，反正没造成宕机，但是最近7天阿里不要脸了，跟 CC 没啥两样。但凡它做点 feedback loop 退避机制也好。

最近1天的 CPU 占用中位数是 30%，屏蔽阿里ASN后，现在只有 7% 的占用。

这还只是一个不知名的小站。并且服务器上还有其它网站和东西在跑。

245 viewsyzqzss |一座桥在水上, 09:45

yzqzss|一座桥在水上's Note

1:38

This media is not supported in your browser

VIEW IN TELEGRAM

受 anubis 启发，今天想出了个怪点子：用纯 css 来反 bot，无需 JS！

思路是用 css 的动画，让浏览器在 3s 内按某种顺序请求几个 1x1 gif。
服务端如果发现这几个 gif 的请求顺序符合预期，则放行后续请求。
第 4s 时一样用 css 动画来隐藏占位图，并请求一张图，服务端根据是否放行，返回开心脸或哭脸图。
第 6s 时 html http-equiv="refresh" 自动刷新。

还别说，实际效果感觉行！
防下简单的非 headless 的 AI bot 应该还是很轻松的。

283 viewsyzqzss |一座桥在水上, edited 19:15

yzqzss|一座桥在水上's Note

原始消息已删除

239 viewsyzqzss |一座桥在水上, edited 02:25

yzqzss|一座桥在水上's Note

受 anubis 启发，今天想出了个怪点子：用纯 css 来反 bot，无需 JS！思路是用 css 的动画，让浏览器在 3s 内按某种顺序请求几个 1x1 gif。服务端如果发现这几个 gif 的请求顺序符合预期，则放行后续请求。第 4s 时一样用 css 动画来隐藏占位图，并请求一张图，服务端根据是否放行，返回开心脸或哭脸图。第 6s 时 html http-equiv="refresh" 自动刷新。还别说，实际效果感觉行！防下简单的非 headless 的 AI bot 应该还是很轻松的。

开了： https://github.com/yzqzss/csswaf
demo 站： https://csswaf-demo.othing.xyz

GitHub

GitHub - yzqzss/csswaf: A CSS-based NoJS Anti-BOT WAF (Proof of Concept)

A CSS-based NoJS Anti-BOT WAF (Proof of Concept). Contribute to yzqzss/csswaf development by creating an account on GitHub.

226 viewsyzqzss |一座桥在水上, 09:47

yzqzss|一座桥在水上's Note